home *** CD-ROM | disk | FTP | other *** search
/ Enter 2005 December / enter-cd-12-2005.iso / Internet / SpamAware 4.0 / SpamAware-Setup.exe / {app} / rules / 20_html_tests.cf < prev    next >
Encoding:
Text File  |  2005-06-20  |  15.4 KB  |  309 lines
  1. # SpamAssassin rules file: HTML tests
  2. #
  3. # Please don't modify this file as your changes will be overwritten with
  4. # the next update. Use @@LOCAL_RULES_DIR@@/local.cf instead.
  5. # See 'perldoc Mail::SpamAssassin::Conf' for details.
  6. #
  7. # <@LICENSE>
  8. # Copyright 2004 Apache Software Foundation
  9. # 
  10. # Licensed under the Apache License, Version 2.0 (the "License");
  11. # you may not use this file except in compliance with the License.
  12. # You may obtain a copy of the License at
  13. # 
  14. #     http://www.apache.org/licenses/LICENSE-2.0
  15. # 
  16. # Unless required by applicable law or agreed to in writing, software
  17. # distributed under the License is distributed on an "AS IS" BASIS,
  18. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  19. # See the License for the specific language governing permissions and
  20. # limitations under the License.
  21. # </@LICENSE>
  22. #
  23. ###########################################################################
  24.  
  25. require_version @@VERSION@@
  26.  
  27. # HTML parser tests
  28. #
  29. # please sort these by eval type then name
  30.  
  31. # HTML control test, HTML spam rules should all have better S/O than this
  32. body HTML_MESSAGE        eval:html_test('html_message')
  33. describe HTML_MESSAGE        HTML included in message
  34.  
  35. # the HTML percentage range
  36. # should really be converted into a numeric function test
  37. body HTML_00_10            eval:html_range('ratio','0.00','0.10')
  38. body HTML_10_20            eval:html_range('ratio','0.10','0.20')
  39. body HTML_20_30            eval:html_range('ratio','0.20','0.30')
  40. body HTML_30_40            eval:html_range('ratio','0.30','0.40')
  41. body HTML_40_50            eval:html_range('ratio','0.40','0.50')
  42. body HTML_50_60            eval:html_range('ratio','0.50','0.60')
  43. body HTML_60_70            eval:html_range('ratio','0.60','0.70')
  44. body HTML_70_80            eval:html_range('ratio','0.70','0.80')
  45. body HTML_80_90            eval:html_range('ratio','0.80','0.90')
  46. body HTML_90_100        eval:html_range('ratio','0.90','1.00')
  47. describe HTML_00_10        Message is 0% to 10% HTML
  48. describe HTML_10_20        Message is 10% to 20% HTML
  49. describe HTML_20_30        Message is 20% to 30% HTML
  50. describe HTML_30_40        Message is 30% to 40% HTML
  51. describe HTML_40_50        Message is 40% to 50% HTML
  52. describe HTML_50_60        Message is 50% to 60% HTML
  53. describe HTML_60_70        Message is 60% to 70% HTML
  54. describe HTML_70_80        Message is 70% to 80% HTML
  55. describe HTML_80_90        Message is 80% to 90% HTML
  56. describe HTML_90_100        Message is 90% to 100% HTML
  57.  
  58. # HTML shouting range
  59. # should really be converted into a numeric function test
  60. body HTML_SHOUTING3        eval:html_range('max_shouting','2','3')
  61. body HTML_SHOUTING4        eval:html_range('max_shouting','3','4')
  62. body HTML_SHOUTING5        eval:html_range('max_shouting','4','5')
  63. body HTML_SHOUTING6        eval:html_range('max_shouting','5','6')
  64. body HTML_SHOUTING7        eval:html_range('max_shouting','6','7')
  65. describe HTML_SHOUTING3        HTML has very strong "shouting" markup
  66. describe HTML_SHOUTING4        HTML has very strong "shouting" markup
  67. describe HTML_SHOUTING5        HTML has very strong "shouting" markup
  68. describe HTML_SHOUTING6        HTML has very strong "shouting" markup
  69. describe HTML_SHOUTING7        HTML has very strong "shouting" markup
  70.  
  71. body HTML_TEXT_AFTER_HTML    eval:html_test('text_after_html')
  72. describe HTML_TEXT_AFTER_HTML    HTML contains text after HTML close tag
  73.  
  74. body HTML_TEXT_AFTER_BODY    eval:html_test('text_after_body')
  75. describe HTML_TEXT_AFTER_BODY    HTML contains text after BODY close tag
  76.  
  77. # HTML comment tests
  78. body HTML_COMMENT_SHORT        eval:html_text_match('comment', '<!(?!-).{0,6}>')
  79. describe HTML_COMMENT_SHORT    HTML comment is very short
  80.  
  81. body HTML_COMMENT_SAVED_URL    eval:html_text_match('comment', '<!-- saved from url=\(\d{4}\)')
  82. describe HTML_COMMENT_SAVED_URL    HTML message is a saved web page
  83.  
  84. # Comment is a spam sign when following <DIV>
  85. body HTML_CONVERTED        eval:html_test('div_converted')
  86. describe HTML_CONVERTED        HTML conversion tool used by spam
  87.  
  88. body HTML_EMBEDS        eval:html_test('embeds')
  89. describe HTML_EMBEDS        HTML with embedded plugin object
  90.  
  91. body HTML_EVENT_UNSAFE        eval:html_test('html_event_unsafe')
  92. describe HTML_EVENT_UNSAFE    HTML contains unsafe auto-executing code
  93.  
  94. body HTML_FONT_SIZE_TINY    eval:html_eval('min_size', '< 1')
  95. describe HTML_FONT_SIZE_TINY    HTML font size is tiny
  96.  
  97. body HTML_FONT_SIZE_NONE    eval:html_eval('min_size', '< 0')
  98. describe HTML_FONT_SIZE_NONE    HTML font size is negative
  99.  
  100. body HTML_FONT_SIZE_LARGE    eval:html_range('max_size', '5', '6')
  101. describe HTML_FONT_SIZE_LARGE    HTML font size is large
  102.  
  103. body HTML_FONT_SIZE_HUGE    eval:html_range('max_size', '6', 'inf')
  104. describe HTML_FONT_SIZE_HUGE    HTML font size is huge
  105.  
  106. body HTML_FONT_BIG        eval:html_test('big_font')
  107. describe HTML_FONT_BIG        HTML tag for a big font size
  108.  
  109. body HTML_FONT_TINY        eval:html_test('tiny_font')
  110. describe HTML_FONT_TINY        HTML tag for a tiny font size
  111.  
  112. body HTML_FONT_INVISIBLE    eval:html_test('font_invisible')
  113. describe HTML_FONT_INVISIBLE    HTML font color is same as background
  114.  
  115. body HTML_FONT_LOW_CONTRAST    eval:html_test('font_low_contrast')
  116. describe HTML_FONT_LOW_CONTRAST    HTML font color similar to background
  117.  
  118. body HTML_FONT_FACE_BAD        eval:html_test('font_face_bad')
  119. describe HTML_FONT_FACE_BAD    HTML font face is not a word
  120.  
  121. body HTML_FONT_FACE_CAPS    eval:html_test('font_face_caps')
  122. describe HTML_FONT_FACE_CAPS    HTML font face has excess capital characters
  123.  
  124. body HTML_FORMACTION_MAILTO    eval:html_test('form_action_mailto')
  125. describe HTML_FORMACTION_MAILTO    HTML includes a form which sends mail
  126.  
  127. # HTML_IMAGE_ONLY - not much raw HTML with images (absolute)
  128. body HTML_IMAGE_ONLY_04        eval:html_image_only('0000','0400')
  129. body HTML_IMAGE_ONLY_08        eval:html_image_only('0400','0800')
  130. body HTML_IMAGE_ONLY_12        eval:html_image_only('0800','1200')
  131. body HTML_IMAGE_ONLY_16        eval:html_image_only('1200','1600')
  132. body HTML_IMAGE_ONLY_20        eval:html_image_only('1600','2000')
  133. body HTML_IMAGE_ONLY_24        eval:html_image_only('2000','2400')
  134. describe HTML_IMAGE_ONLY_04    HTML: images with 0-400 bytes of words
  135. describe HTML_IMAGE_ONLY_08    HTML: images with 400-800 bytes of words
  136. describe HTML_IMAGE_ONLY_12    HTML: images with 800-1200 bytes of words
  137. describe HTML_IMAGE_ONLY_16    HTML: images with 1200-1600 bytes of words
  138. describe HTML_IMAGE_ONLY_20    HTML: images with 1600-2000 bytes of words
  139. describe HTML_IMAGE_ONLY_24    HTML: images with 2000-2400 bytes of words
  140.  
  141. # HTML_IMAGE_RATIO - more image area than text (ratio)
  142. body HTML_IMAGE_RATIO_02    eval:html_image_ratio('0.000','0.002')
  143. body HTML_IMAGE_RATIO_04    eval:html_image_ratio('0.002','0.004')
  144. body HTML_IMAGE_RATIO_06    eval:html_image_ratio('0.004','0.006')
  145. body HTML_IMAGE_RATIO_08    eval:html_image_ratio('0.006','0.008')
  146. describe HTML_IMAGE_RATIO_02    HTML has a low ratio of text to image area
  147. describe HTML_IMAGE_RATIO_04    HTML has a low ratio of text to image area
  148. describe HTML_IMAGE_RATIO_06    HTML has a low ratio of text to image area
  149. describe HTML_IMAGE_RATIO_08    HTML has a low ratio of text to image area
  150.  
  151. body HTML_LINK_PUSH_HERE    eval:html_text_match('anchor', '(?i)(?:push|go)\s*(?:here|this)')
  152. describe HTML_LINK_PUSH_HERE    HTML link text says "push here" or similar
  153.  
  154. # HTML obfuscation
  155. body HTML_OBFUSCATE_05_10    eval:html_range('obfuscation_ratio','.05','.1')
  156. body HTML_OBFUSCATE_10_20    eval:html_range('obfuscation_ratio','.1','.2')
  157. body HTML_OBFUSCATE_20_30    eval:html_range('obfuscation_ratio','.2','.3')
  158. body HTML_OBFUSCATE_30_40    eval:html_range('obfuscation_ratio','.3','.4')
  159. body HTML_OBFUSCATE_40_50    eval:html_range('obfuscation_ratio','.4','.5')
  160. body HTML_OBFUSCATE_50_60    eval:html_range('obfuscation_ratio','.5','.6')
  161. body HTML_OBFUSCATE_60_70    eval:html_range('obfuscation_ratio','.6','.7')
  162. body HTML_OBFUSCATE_70_80    eval:html_range('obfuscation_ratio','.7','.8')
  163. body HTML_OBFUSCATE_80_90    eval:html_range('obfuscation_ratio','.8','.9')
  164. body HTML_OBFUSCATE_90_100    eval:html_range('obfuscation_ratio','.9','1.0')
  165. describe HTML_OBFUSCATE_05_10    Message is 5% to 10% HTML obfuscation
  166. describe HTML_OBFUSCATE_10_20    Message is 10% to 20% HTML obfuscation
  167. describe HTML_OBFUSCATE_20_30    Message is 20% to 30% HTML obfuscation
  168. describe HTML_OBFUSCATE_30_40    Message is 30% to 40% HTML obfuscation
  169. describe HTML_OBFUSCATE_40_50    Message is 40% to 50% HTML obfuscation
  170. describe HTML_OBFUSCATE_50_60    Message is 50% to 60% HTML obfuscation
  171. describe HTML_OBFUSCATE_60_70    Message is 60% to 70% HTML obfuscation
  172. describe HTML_OBFUSCATE_70_80    Message is 70% to 80% HTML obfuscation
  173. describe HTML_OBFUSCATE_80_90    Message is 80% to 90% HTML obfuscation
  174. describe HTML_OBFUSCATE_90_100    Message is 90% to 100% HTML obfuscation
  175.  
  176. # backhair - idea from backhair set by Jennifer Wheeler and Adam Lopresto.
  177. body HTML_BACKHAIR_2        eval:html_range('backhair_count', '1', '4')
  178. body HTML_BACKHAIR_4        eval:html_range('backhair_count', '4', '8')
  179. body HTML_BACKHAIR_8        eval:html_range('backhair_count', '8', 'inf')
  180. describe HTML_BACKHAIR_2    HTML tags used to obfuscate words
  181. describe HTML_BACKHAIR_4    HTML tags used to obfuscate words
  182. describe HTML_BACKHAIR_8    HTML tags used to obfuscate words
  183.  
  184. # HTML attribute testing
  185. body HTML_ATTR_BAD        eval:html_range('attr_bad','0.75','1.0')
  186. describe HTML_ATTR_BAD        HTML has many bad attributes in tags
  187. body HTML_ATTR_UNIQUE        eval:html_range('attr_unique_bad','0.5','1.0')
  188. describe HTML_ATTR_UNIQUE    HTML appears to have random attributes in tags
  189.  
  190. body HTML_WEB_BUGS        eval:html_test('web_bugs')
  191. describe HTML_WEB_BUGS        Image tag intended to identify you
  192.  
  193. body HTML_TAG_BALANCE_BODY    eval:html_tag_balance('body', '!= 0')
  194. describe HTML_TAG_BALANCE_BODY    HTML has unbalanced "body" tags
  195.  
  196. body HTML_TAG_BALANCE_HEAD    eval:html_tag_balance('head', '!= 0')
  197. describe HTML_TAG_BALANCE_HEAD    HTML has unbalanced "head" tags
  198.  
  199. body HTML_TAG_EXIST_MARQUEE    eval:html_tag_exists('marquee')
  200. describe HTML_TAG_EXIST_MARQUEE    HTML has "marquee" tag
  201.  
  202. body HTML_TAG_EXIST_TBODY    eval:html_tag_exists('tbody')
  203. describe HTML_TAG_EXIST_TBODY    HTML has "tbody" tag
  204.  
  205. # percentage of tags that are not legal elements in HTML
  206. body HTML_BADTAG_00_10    eval:html_range('bad_tag_ratio','0.00','0.10')
  207. body HTML_BADTAG_10_20    eval:html_range('bad_tag_ratio','0.10','0.20')
  208. body HTML_BADTAG_20_30    eval:html_range('bad_tag_ratio','0.20','0.30')
  209. body HTML_BADTAG_30_40    eval:html_range('bad_tag_ratio','0.30','0.40')
  210. body HTML_BADTAG_40_50    eval:html_range('bad_tag_ratio','0.40','0.50')
  211. body HTML_BADTAG_50_60    eval:html_range('bad_tag_ratio','0.50','0.60')
  212. body HTML_BADTAG_60_70    eval:html_range('bad_tag_ratio','0.60','0.70')
  213. body HTML_BADTAG_70_80    eval:html_range('bad_tag_ratio','0.70','0.80')
  214. body HTML_BADTAG_80_90    eval:html_range('bad_tag_ratio','0.80','0.90')
  215. body HTML_BADTAG_90_100    eval:html_range('bad_tag_ratio','0.90','1.00')
  216. describe HTML_BADTAG_00_10    HTML message is 0% to 10% bad tags
  217. describe HTML_BADTAG_10_20    HTML message is 10% to 20% bad tags
  218. describe HTML_BADTAG_20_30    HTML message is 20% to 30% bad tags
  219. describe HTML_BADTAG_30_40    HTML message is 30% to 40% bad tags
  220. describe HTML_BADTAG_40_50    HTML message is 40% to 50% bad tags
  221. describe HTML_BADTAG_50_60    HTML message is 50% to 60% bad tags
  222. describe HTML_BADTAG_60_70    HTML message is 60% to 70% bad tags
  223. describe HTML_BADTAG_70_80    HTML message is 70% to 80% bad tags
  224. describe HTML_BADTAG_80_90    HTML message is 80% to 90% bad tags
  225. describe HTML_BADTAG_90_100    HTML message is 90% to 100% bad tags
  226.  
  227. # percentage of unique non-elements in HTML
  228. body HTML_NONELEMENT_00_10    eval:html_range('non_element_ratio','0.00','0.10')
  229. body HTML_NONELEMENT_10_20    eval:html_range('non_element_ratio','0.10','0.20')
  230. body HTML_NONELEMENT_20_30    eval:html_range('non_element_ratio','0.20','0.30')
  231. body HTML_NONELEMENT_30_40    eval:html_range('non_element_ratio','0.30','0.40')
  232. body HTML_NONELEMENT_40_50    eval:html_range('non_element_ratio','0.40','0.50')
  233. body HTML_NONELEMENT_50_60    eval:html_range('non_element_ratio','0.50','0.60')
  234. body HTML_NONELEMENT_60_70    eval:html_range('non_element_ratio','0.60','0.70')
  235. body HTML_NONELEMENT_70_80    eval:html_range('non_element_ratio','0.70','0.80')
  236. body HTML_NONELEMENT_80_90    eval:html_range('non_element_ratio','0.80','0.90')
  237. body HTML_NONELEMENT_90_100    eval:html_range('non_element_ratio','0.90','1.00')
  238. describe HTML_NONELEMENT_00_10    0% to 10% of HTML elements are non-standard
  239. describe HTML_NONELEMENT_10_20    10% to 20% of HTML elements are non-standard
  240. describe HTML_NONELEMENT_20_30    20% to 30% of HTML elements are non-standard
  241. describe HTML_NONELEMENT_30_40    30% to 40% of HTML elements are non-standard
  242. describe HTML_NONELEMENT_40_50    40% to 50% of HTML elements are non-standard
  243. describe HTML_NONELEMENT_50_60    50% to 60% of HTML elements are non-standard
  244. describe HTML_NONELEMENT_60_70    60% to 70% of HTML elements are non-standard
  245. describe HTML_NONELEMENT_70_80    70% to 80% of HTML elements are non-standard
  246. describe HTML_NONELEMENT_80_90    80% to 90% of HTML elements are non-standard
  247. describe HTML_NONELEMENT_90_100    90% to 100% of HTML elements are non-standard
  248.  
  249. # short HTML messages with certain attributes
  250. body HTML_SHORT_LENGTH        eval:html_eval('length', '< 170')
  251. describe HTML_SHORT_LENGTH    HTML is extremely short
  252.  
  253. body __HTML_LENGTH_512        eval:html_eval('length', '< 512')
  254. body __COMMENT_EXISTS        eval:html_text_match('comment', '<!.*?>')
  255. meta HTML_SHORT_COMMENT        (__HTML_LENGTH_512 && __COMMENT_EXISTS)
  256. describe HTML_SHORT_COMMENT    HTML is very short with HTML comments
  257.  
  258. body __HTML_LENGTH_384        eval:html_eval('length', '< 384')
  259. body __TAG_EXISTS_CENTER    eval:html_tag_exists('center')
  260. meta HTML_SHORT_CENTER        (__HTML_LENGTH_384 && __TAG_EXISTS_CENTER)
  261. describe HTML_SHORT_CENTER    HTML is very short with CENTER tag
  262.  
  263. body HTML_TITLE_EMPTY        eval:html_text_not_match('title', '(?s)\S')
  264. describe HTML_TITLE_EMPTY    HTML title contains no text
  265.  
  266. body HTML_TITLE_UNTITLED    eval:html_text_match('title', '(?i)(?:untitled|new page \d+)')
  267. describe HTML_TITLE_UNTITLED    HTML title contains "Untitled"
  268.  
  269. ###########################################################################
  270. # meta tests
  271.  
  272. body __HTML_CHARSET_FARAWAY    eval:html_charset_faraway()
  273. meta HTML_CHARSET_FARAWAY    (__HTML_CHARSET_FARAWAY && __HIGHBITS)
  274. describe HTML_CHARSET_FARAWAY    A foreign language charset used in HTML markup
  275. tflags HTML_CHARSET_FARAWAY    userconf
  276.  
  277. meta HTML_MIME_NO_HTML_TAG    MIME_HTML_ONLY && !__TAG_EXISTS_HTML
  278. describe HTML_MIME_NO_HTML_TAG    HTML-only message, but there is no HTML tag
  279.  
  280. meta HTML_MISSING_CTYPE        (!__MIME_HTML && HTML_MESSAGE)
  281. describe HTML_MISSING_CTYPE    Message is HTML without HTML Content-Type
  282.  
  283. ###########################################################################
  284. # rawbody HTML tests
  285.  
  286. rawbody HIDE_WIN_STATUS        /<[^>]+onMouseOver=[^>]+window\.status=/i
  287. describe HIDE_WIN_STATUS    Javascript to hide URLs in browser
  288.  
  289. rawbody __OBFUSCATING_COMMENT_A    /\w(?:<![^>]*>)+\w/
  290. rawbody __OBFUSCATING_COMMENT_B    /[^\s>](?:<![^>]*>)+[^\s<]/
  291. meta OBFUSCATING_COMMENT    ((__OBFUSCATING_COMMENT_A && HTML_MESSAGE) || (__OBFUSCATING_COMMENT_B && MIME_HTML_ONLY))
  292. describe OBFUSCATING_COMMENT    HTML comments which obfuscate text
  293.  
  294. # spams that are assembled from a Javascript array
  295. # look for the XOR op
  296. rawbody __JS_FROMCHARCODE       /String\.fromCharCode\s*\(\s*\S+\s*\[\s*\S+\s*\]\s*\^/
  297. rawbody __JS_DOCWRITE           /document\.write/
  298. meta JS_FROMCHARCODE            (__JS_FROMCHARCODE && __JS_DOCWRITE)
  299. describe JS_FROMCHARCODE        Document is built from a Javascript charcode array
  300.  
  301. # A-Z, a-z, 0-9
  302. rawbody ENTITY_DEC_ALPHANUM    /\&\#0*(?:4[89]|5[0-7]|6[5-9][78]\d|9[0789]|1[01]\d|12[012])\;/
  303. describe ENTITY_DEC_ALPHANUM    HTML contains needlessly encoded characters
  304.  
  305. # ! $ % ' ( ) , - . / : ; = ? @ _
  306. # a good possible rule that may resurface
  307. #rawbody ENTITY_DEC_OTHER    /\&\#0*(?:3[3679]|4[014567]|5[89]|6[134]|95)\;/
  308. #describe ENTITY_DEC_OTHER    HTML contains needlessly encoded punctuation
  309.